FOSTER: First-order Dataset Distillation for Text-based Sequential Recommendation
FOSTER：面向文本序列推荐的一阶数据集蒸馏框架
🧭 推荐系统训练加速 · 数据集蒸馏 ★ 深度解读
The University of Queensland · Griffith University · Amazon International Machine Learning
通过随机项目子集采样、一阶优化与轨迹锚定重置，用极少合成序列逼近全量文本序列推荐性能。
📌 工作参考价值（4 点）
- 用合成序列替代全量数据加速模型迭代：在需要频繁更新模型的电商场景，可将全量用户交互序列蒸馏成少量合成序列（如20条），下游模型训练时间从小时级降至分钟级，且性能不降，适合在线学习或快速实验。
- 随机项目子集采样避免全量计算：蒸馏过程每步仅采样512个项目计算概率，而非整个商品库，显著降低显存和计算量；该方法可直接迁移到任何需要全库 softmax 的场景，类似负采样但更稳定。
- 一阶优化替代双层优化降低工程复杂度：将双层问题转化为带约束的单层问题，用一阶梯度更新合成数据和模型参数，消除昂贵的高阶梯度计算；在资源受限（如单卡 24 GB）环境下，比传统 BPTT 方案内存降低 25 倍，且收敛更快。
- 显式对齐项共现语义可提升蒸馏质量：当推荐模型使用嵌入绑定时，引入正则化项迫使语义相似商品在合成序列中具有相似的条件分布，能有效避免合成数据退化到只包含热门商品，提升冷门商品的表达能力，对保持推荐多样性有帮助。